Robust prediction of citywide traffic flows at different time periods plays a crucial role in intelligent transportation systems. While previous work has made great efforts to model spatio-temporal correlations, existing methods still suffer from two key limitations: i) Most models collectively predict all regions' flows without accounting for spatial heterogeneity, i.e., different regions may have skewed traffic flow distributions. ii) These models fail to capture the temporal heterogeneity induced by time-varying traffic patterns, as they typically model temporal correlations with a shared parameterized space for all time periods. To tackle these challenges, we propose a novel Spatio-Temporal Self-Supervised Learning (ST-SSL) traffic prediction framework which enhances the traffic pattern representations to be reflective of both spatial and temporal heterogeneity, with auxiliary self-supervised learning paradigms. Specifically, our ST-SSL is built over an integrated module with temporal and spatial convolutions for encoding the information across space and time. To achieve the adaptive spatio-temporal self-supervised learning, our ST-SSL first performs the adaptive augmentation over the traffic flow graph data at both attribute- and structure-levels. On top of the augmented traffic graph, two SSL auxiliary tasks are constructed to supplement the main traffic prediction task with spatial and temporal heterogeneity-aware augmentation. Experiments on four benchmark datasets demonstrate that ST-SSL consistently outperforms various state-of-the-art baselines. Since spatio-temporal heterogeneity widely exists in practical datasets, the proposed framework may also cast light on other spatial-temporal applications. Model implementation is available at https://github.com/Echo-Ji/ST-SSL.

Motivation: Enhancers are important cis-regulatory elements that regulate a wide range of biological functions and enhance the transcription of target genes. Although many state-of-the-art computational methods have been proposed in order to efficiently identify enhancers, learning globally contextual features is still one of the challenges for computational methods. Regarding the similarities between biological sequences and natural language sentences, the novel BERT-based language techniques have been applied to extracting complex contextual features in various computational biology tasks such as protein function/structure prediction. To speed up the research on enhancer identification, it is urgent to construct a BERT-based enhancer language model. Results: In this paper, we propose a multi-scale enhancer identification method (iEnhancer-ELM) based on enhancer language models, which treat enhancer sequences as natural language sentences that are composed of k-mer nucleotides. iEnhancer-ELM can extract contextual information of multi-scale k-mers with positions from raw enhancer sequences. Benefiting from the complementary information of k-mers in multi-scale, we ensemble four iEnhancer-ELM models for improving enhancer identification. The benchmark comparisons show that our model outperforms state-of-the-art methods. By the interpretable attention mechanism, we finds 30 biological patterns, where 40% (12/30) are verified by a widely used motif tool (STREME) and a popular dataset (JASPAR), demonstrating our model has a potential ability to reveal the biological mechanism of enhancer. Availability: The source code are available at https://github.com/chen-bioinfo/iEnhancer-ELM Contact: junjiechen@hit.edu.cn and junjie.chen.hit@gmail.com; Supplementary information: Supplementary data are available at Bioinformatics online.

360 {\ deg}场景中基于图像的显着对象检测（ISOD）对于理解和应用全景信息非常重要。但是，由于缺乏大型，复杂，高分辨率且标记良好的数据集，对360 {\ deg} ISOD的研究尚未被广泛探索。为此，我们构建了一个大型360 {\ deg} ISOD数据集，具有对象级像素的依次投影（ERP），其中包含不少于2K分辨率的丰富全景场景，并且是360 {最大的数据集，是最大的数据集{ \ deg} ISOD据我们所知。通过观察数据，我们发现当前的方法在全景方案中面临三个重大挑战：不同的失真度，不连续的边缘效应和可变的对象量表。受到人类观察过程的启发，我们提出了一种基于样本自适应视图变压器（SAVT）模块的视图显着对象检测方法，并带有两个子模块，以减轻这些问题。具体而言，子模块视图变压器（VT）基于不同种类的变换，在不同视图下学习各种特征，并增强模型的变形，边缘效果和对象量表的特征耐受性。此外，亚模块样品自适应融合（SAF）是根据各种样品特征调整不同变换分支的权重，并使转换的增强功能更适当地融合。 20种最先进的ISOD方法的基准结果表明，构造的数据集非常具有挑战性。此外，详尽的实验验证了所提出的方法是实际的，并且表现优于最先进的方法。

如今，基础模型已成为人工智能中的基本基础设施之一，铺平了通往通用情报的方式。但是，现实提出了两个紧急挑战：现有的基础模型由英语社区主导；用户通常会获得有限的资源，因此不能总是使用基础模型。为了支持中文社区的发展，我们介绍了一个名为Fengshenbang的开源项目，该项目由认知计算与自然语言研究中心（CCNL）领导。我们的项目具有全面的功能，包括大型预培训模型，用户友好的API，基准，数据集等。我们将所有这些都包装在三个子项目中：风水次模型，风水框架和狂热基准。 Fengshenbang的开源路线图旨在重新评估中国预培训的大型大型模型的开源社区，促使整个中国大型模型社区的发展。我们还希望构建一个以用户为中心的开源生态系统，以允许个人访问所需的模型以匹配其计算资源。此外，我们邀请公司，大学和研究机构与我们合作建立大型开源模型的生态系统。我们希望这个项目将成为中国认知情报的基础。

自然语言理解（NLU）模型倾向于依靠虚假的相关性（即数据集偏见）来在分布数据集上实现高性能，但在分布外部的数据集中的性能差。大多数现有的偏见方法通常都以偏见的特征（即引起这种虚假相关性的表面特征）来识别和削弱这些样品。但是，下降加权这些样品阻碍了从这些样品的无偏见部分学习的模型。为了应对这一挑战，在本文中，我们建议从特征空间的角度以细粒度的方式消除虚假的相关性。具体而言，我们引入了随机傅立叶特征和加权重采样，以将功能之间的依赖关系解释以减轻虚假相关性。在获得非相关的功能后，我们进一步设计了一种基于相互信息的方法来净化它们，这迫使模型学习与任务更相关的功能。对两个经过良好研究的NLU任务进行的广泛实验表明，我们的方法优于其他比较方法。

少量样本压缩旨在将大冗余模型压缩成一个小型紧凑型，只有少量样品。如果我们的微调模型直接具有这些限制的样本，模型将容易受到过度装备，并且几乎没有学习。因此，先前的方法优化压缩模型逐层，并尝试使每个层具有与教师模型中的相应层相同的输出，这是麻烦的。在本文中，我们提出了一个名为mimicking的新框架，然后替换（mir），以实现几个样本压缩，这首先促使修剪模型输出与教师在倒数第二层中的相同功能，然后在倒数第二个之前替换教师的图层调整良好的紧凑型。与以前的层面重建方法不同，我们的MIR完全优化整个网络，这不仅简单而有效，而且还无人驾驶和一般。MIR优于以前的余量。代码即将推出。

最小化隐私泄漏，同时确保数据实用程序是隐私保留数据发布任务中数据持有者的关键问题。大多数现有研究仅涉及一种类型的数据和度假村，以实现一个模糊的方法，\例如，混淆或泛化，以实现隐私式实用权衡，这是保护现实生活的异构数据不足，并且难以捍卫 - 生长机器学习的推论攻击。这项工作在采用异构数据保护的泛化和混淆操作时，对隐私保留数据发布进行试验研究。为此，我们首先提出了新的隐私和实用程序量化措施，并制定了混合隐私保留数据模糊问题，以解释泛化和混淆的联合效力。然后，我们设计了一种名为HyobScure的新型混合保护机制，交叉迭代优化了在某种实用程序保证下的最大隐私保护的泛化和混淆操作。理论上还提供了迭代过程的收敛性和障碍的隐私泄漏。广泛的实验表明，在不同场景下面对各种推理攻击时，横冲气度显着优于各种最先进的基线方法。 HyoBScure还线性地缩放到数据大小，并使用不同的关键参数稳健行为。

联邦学习（FL）是一个有前途的机器学习范式，可以以隐私保留和法律规范的方式实现现实世界AI应用的交联数据合作。如何估值缔约方的数据是一个关键而挑战的流逝。在文献中，数据估值要么依赖于给定任务运行特定模型，或者只是任务无关;但是，在尚未确定的FL模型时，常常为派对选择的必要条件。因此，这项工作填补了差距并提出了\ {FedValue}，以我们的最佳知识，第一个隐私保留，任务特定的任务，但无模型的无模式数据估值方法，用于垂直流动任务。具体而言，FedValue包含一种新的信息 - 理论度量，称为福普利-CMI，以评估来自游戏理论观点的多方的数据值。此外，一种新颖的服务器辅助联合计算机制被设计为计算Shapley-CMI，并且同时保护每个方免受数据泄漏。我们还提出了几种技术来加速福利-CMI计算在实践中。六个开放数据集的广泛实验验证了FedValue对垂直流动任务数据估值的效力和效率。特别是，福芙-CMI作为无模型度量，与依赖于运行良好的良好模型的集合的措施相当执行。

基础模型不是模型生产管道的最后一章。以少数数据以少数数据传输到数千个下游任务正在成为基础模型的应用的趋势。在本文中，我们提出了一个通用转移框架：一个传输所有（OTA），将任何视觉基础模型（VFM）转移到具有少数下游数据的下游任务。我们首先通过图像重新表示微调（IRF）将VFM传输到特定于任务特定模型，然后将知识从特定于任务的模型蒸馏到部署的模型，其中包含由下游图像引导的生成（DIGG）产生的数据。OTA在传输时没有对上游数据，VFM和下游任务的依赖性。它还为VFM研究人员提供了一种方法，以释放其上游信息，以便更好地转移，但由于隐私要求而没有泄漏数据。大规模实验在少数数据设置中验证我们方法的有效性和优越性。我们的代码将被释放。

过去几年的技术创新的巨大浪潮，标志着AI技术的进展，是深刻的重塑行业和社会。然而，在路上，一个关键的挑战等待着我们，即我们满足快速增长的情景的能力的能力受到收购培训数据的成本的严重限制。由于主流学习范式的局限性，这一困难的局面是基于主流学习范式的局限性：我们需要根据大量注释的数据以及通常从头来训练每个新场景的新模型。在解决这一基本问题时，我们超越并开发一个名为实习生的新学习范式。通过在多个阶段的来自多个来源的监控信号学习，培训的模型将产生强大的相互性。我们在26个众所周知的数据集中评估我们的模型，该数据集涵盖计算机视觉中的四类任务。在大多数情况下，我们的模型仅适用于目标域中的培训数据的10％，始终以完整的数据培训的对应物，通常由显着的边距。这是一个重要前景的重要一步，其中具有一般视觉能力的这种模型可以大大降低对数据的依赖，从而加速通过AI技术的采用。此外，围绕我们的新范式旋转，我们还介绍了一个新的数据系统，新的架构和新的基准，以及一起形成一般愿景生态系统，以开放和包容性的方式支持其未来的发展。